Dostrajanie (sztuczna inteligencja)

Dostrajanie^[1] (ang. fine-tuning) – podejście w uczeniu głębokim do uczenia transferowego, w którym parametry wstępnie wyszkolonego modelu sieci neuronowej są trenowane na nowych danych^[2]. Dostrajanie można przeprowadzić w całej sieci neuronowej lub tylko konkretnych warstwach. W drugim przypadku warstwy, które nie są dostrajane nie ulegają zmianie podczas propagacji wstecznej^[3].

W przypadku niektórych architektur, takich jak konwolucyjne sieci neuronowe, zazwyczaj zamraża się pierwsze warstwy (najbliższe warstwie wejściowej), ponieważ przechwytują one cechy niższego poziomu, podczas gdy kolejne warstwy często rozróżniają cechy wyższego poziomu, które mogą być bardziej powiązane z zadaniem trenowanego modelu^[3][4].

Modele wstępnie wytrenowane na dużych, ogólnych korpusach są zazwyczaj dostrajane przez ponowne wykorzystanie ich parametrów jako punkt startowy i dodanie warstwy specyficznej dla zadania, trenowanej od podstaw^[5]. Dostrajanie całego modelu też jest stosowane i często daje lepsze rezultaty ale jest bardziej kosztowne obliczeniowo^[6].

Dostrajanie odbywa się zazwyczaj za pomocą uczenia nadzorowanego. To podejście można też połączyć z techniką RLHF, aby wytworzyć modele językowe, takie jak ChatGPT (dostrojona wersja modeli GPT)^[7][8].